ABC-EBDI: A cognitive-affective framework to support the modeling of believable intelligent agents.

El Grupo de Investigación de Interfaces Avanzadas (AffectiveLab), es un grupo reconocido por el Gobierno de Aragón (T60-20R) cuya actividad se enmarca en el área de la Interacción Humano-Computadora (IHC). Su actividad investigadora se ha centrado, en los últimos años, en cuatro temas principales: interacción natural, informática afectiva, accesibilidad e interfaces basadas en agentes inteligentes, siendo esta última en la que se enmarca esta tesis doctoral. Más concretamente, la realización de esta tesis doctoral se enmarca dentro de los proyectos de investigación nacionales JUGUEMOS (TIN2015-67149-C3-1R) y PERGAMEX (RTI2018-096986-B-C31). Una de sus líneas de investigación se centra en el desarrollo de arquitecturas cognitivo-afectivas para apoyar el modelado afectivo de los agentes inteligentes. El AffectiveLab tiene una sólida experiencia en el uso de agentes de interfaz incorporados que exhiben expresiones afectivas corporales y faciales (Baldassarri et al., 2008). En los últimos años, se han centrado en el modelado del comportamiento de los agentes inteligentes (Pérez et al., 2017).La definición de agente inteligente es un tema controvertido, pero se puede decir que es una entidad autónoma que recibe información dinámica del entorno a través de sensores y actúa sobre el medio ambiente a través de actuadores, mostrando un comportamiento dirigido a un objetivo (Russell et al., 2003). El modelado de los procesos cognitivos en los agentes inteligentes se basa en diferentes teorías (Moore, 1980; Newell, 1994; Bratman, 1987) que explican, desde diferentes puntos de vista, el funcionamiento de la mente humana. Los agentes inteligentes implementados sobre la base de una teoría cognitiva se conocen como agentes cognitivos. Los más desarrollados son los que se basan en arquitecturas cognitivas, como Soar (Laird et al., 1987), ACT-R (Anderson, 1993) y BDI (Rao and Georgeff, 1995). Comparado con Soar y otras arquitecturas complejas, BDI se destaca por su simplicidad y versatilidad. BDI ofrece varias características que la hacen popular, como su capacidad para explicar el comportamiento del agente en cada momento, haciendo posible una interacción dinámica con el entorno. Debido a la creciente popularidad del marco BDI se ha utilizado para apoyar el modelado de agentes inteligentes (Larsen, 2019; (Cranefield and Dignum, 2019). En los últimos años, también han aparecido propuestas de BDI que integran aspectos afectivos. Los agentes inteligentes construidos en base a la arquitectura BDI que también incorporan capacidades afectivas, se conocen como agentes EBDI (Emotional BDI) y son el foco de esta tesis. El objetivo principal de esta tesis ha sido proponer un marco cognitivo-afectivo basado en el BDI que sustente el modelado cognitivo-afectivo de los agentes inteligentes. La finalidad es ser capaz de reproducir un comportamiento humano creíble en situaciones complejas donde el comportamiento humano es variado y bastante impredecible. El objetivo propuesto se ha logrado con éxito en los términos descritos a continuación:• Se ha elaborado un exhaustivo estado del arte relacionado con los modelos afectivos más utilizados para modelar los aspectos afectivos en los agentes inteligentes.• Se han estudiado las arquitecturas de BDI y las propuestas previas de EBDI. El estudio, que dio lugar a una publicación (Sánchez-López and Cerezo, 2019), permitió detectar las cuestiones abiertas en el área, y la necesidad de considerar todos los aspectos de la afectividad (emociones, estado de ánimo, personalidad) y su influencia en todas las etapas cognitivas. El marco resultante de este trabajo doctoral incluye también el modelado de la conducta y el comportamiento comunicativo, que no habían sido considerados hasta ahora en el modelado de los agentes inteligentes. Estos aspectos colocan al marco resultante entre EBDI los más avanzados de la literatura. • Se ha diseñado e implementado un marco basado en el BDI para soportar el modelado cognitivo, afectivo y conductual de los agentes inteligentes, denominado ABC-EBDI (Sanchez et al., 2020) (Sánchez et al., 2019). Se trata de la primera aplicación de un modelo psicológico muy conocido, el modelo ABC de Ellis, a la simulación de agentes inteligentes humanos realistas. Esta aplicación implica:o La ampliación del concepto de creencias. En el marco se consideran tres tipos de creencias: creencias básicas, creencias de contexto y comportamientos operantes. Las creencias básicas representan la información general que el agente tiene sobre sí mismo y el entorno. Las conductas operantes permiten modelar la conducta reactiva del agente a través de las conductas aprendidas. Las creencias de contexto, que se representan en forma de cogniciones frías y calientes, se procesan para clasificarlas en creencias irracionales y racionales siguiendo las ideas de Ellis. Es la consideración de creencias irracionales/racionales porque abre la puerta a la simulación de reacciones humanas realistas.o La posibilidad de gestionar de forma unificada las consecuencias de los acontecimientos en términos de consecuencias afectivas y de comportamiento (conducta). Las creencias de contexto racionales conducen a emociones funcionales y a una conducta adaptativa, mientras que las creencias de contexto irracionales conducen a emociones disfuncionales y a una conducta maladaptativa. Este carácter funcional/disfuncional de las emociones no se había utilizado nunca antes en el contexto del BDI. Además, el modelado conductual se ha ampliado con el modelado de estilos comunicativos, basado en el modelo Satir, tampoco aplicado previamente al modelado de agentes inteligentes. El modelo de Satir considera gestos corporales, expresiones faciales, voz, entonación y estructuras lingüísticas.• Se ha elegido un caso de uso, "I wish a had better news" para la aplicación del marco propuesto y se han realizado dos tipos de evaluaciones, por parte de expertos y de usuarios. La evaluación ha confirmado el gran potencial del marco propuesto para reproducir un comportamiento humano realista y creíble en situaciones complejas.<br /

Diseño de una aplicación para la promoción del Envejecimiento Activo en personas mayores frágiles

El TFG que se expone en este documento y sus anexos consiste en el diseño de una aplicación para la promoción del envejecimiento activo en personas mayores. En particular la aplicación se va a enfocar a personas mayores frágiles para intentar que mantengan su autonomía lo máximo posible. Para ello se buscan abordar cuestiones como la nutrición, el ejercicio físico y el mantenimiento de las capacidades cognitivas. La aplicación se enmarca dentro de la filosofía de Envejecimiento Activo o Well Being y se ha desarrollado en colaboración con el Hospital Provincial Nuestra Señora de Gracia.<br /

Toolkits for the Development of Hybrid Games: from Tangible Tabletops to Interactive Spaces

Durante los últimos años, los dispositivos tabletop han sido considerados el entorno ideal para los juegos híbridos, los cuales combinan técnicas de juego tradicional, como el uso de objetos físicos para interactuar con el juego de una forma natural, con las nuevas posibilidades que los tabletops ofrecen de aumentar el espacio de juego con imágenes digitales y audio.Sin embargo, los juegos híbridos no se restringen simplemente a tabletops, pudiéndose jugar también en entornos más amplios en los que convergen otros paradigmas de interacción. Por esta razón, el uso de juegos híbridos en Espacios Interactivos está ganando fuerza, pero el número y heterogeneidad de dispositivos y estilos de interacción que se encuentran en estos entornos hace que el diseño y prototipado de juegos sea una tarea difícil. Por lo tanto, el gran reto se encuentra en ofrecer a diseñadores y desarrolladores herramientas apropiadas para la creación de estas aplicaciones.En esta línea de trabajo, el grupo Affective Lab lanzó el proyecto JUGUEMOS (TIN2015-67149-C3-1R), un proyecto nacional centrado en el desarrollo de juegos híbridos en entornos interactivos. Esta Tesis Doctoral se enmarca en este proyecto.El primer paso de la realización de esta tesis fue establecer los dos objetivos principales (Capítulo 1):1) El primer objetivo que se estableció fue profundizar en el uso de tabletops tangibles en terapia con niños con necesidades especiales. Durante los últimos años el grupo Affective Lab había visto la potencialidad de los tabletops tangibles para el trabajo con niños pequeños, pero todavía era necesario llevar a cabo más experiencias y evaluaciones en el ámbito terapéutico, así como explorar si otros grupos de usuarios (adultos con problemas cognitivos) podían beneficiarse de las características de los tabletops.2) El segundo objetivo consistió en diseñar e implementar un toolkit para el desarrollo de juegos híbridos para espacios interactivos. Se decidió que el toolkit estuviera dirigido a desarrolladores para facilitar su trabajo a la hora de crear este tipo de aplicaciones.Una vez establecidos los objetivos, se realizó un estado del arte a su vez dividido en dos partes (Capítulo 2):1) Se realizó una categorización de juegos híbridos para entender y extraer sus principales características, así como los principales retos que surgen al desarrollar este tipo de juegos. También se estudiaron toolkits cuyo objetivo era el desarrollo de juegos híbridos.2) Se estudiaron juegos híbridos desarrollados para niños con necesidades especiales y adultos con problemas cognitivos que hacían uso de la Interacción Tangible y tabletops, así como toolkits dirigidos a terapeutas o educadores para ayudarles en la creación de actividades para sus pacientes.Para llevar a cabo las experiencias y evaluaciones relacionadas con el primer objetivo, se hizo uso del tabletop tangible NIKVision, desarrollado previamente por el grupo Affective Lab, y el toolkit KitVision, una herramienta dirigida a profesionales sin conocimientos de programación para la creación de actividades tangibles y que fue desarrollado durante el Proyecto Final de Carrera de la autora. En el Capítulo 3 de esta Tesis se comenta brevemente el tabletop NIKVision y la arquitectura de KitVision, se describen las evaluaciones que se llevaron a cabo con terapeutas con el objetivo de mejorar y probar la utilidad del toolkit, y se explica una experiencia de un año durante la cual una terapeuta ocupacional de ASAPME, una asociaciónque trabaja con adultos con problemas cognitivos, estuvo usando el tabletop y el toolkit sin supervisión.En el Capítulo 4 se describen diferentes experiencias con KitVision que se llevaron a cabo:- Gracias a una colaboración con la Residencia Romareda, NIKVision y KitVision fueron instalados provisionalmente en la residencia y, tras una evaluación inicial, se desarrollaron tres nuevas actividades para los usuarios de la residencia.- Gracias a la colaboración con ENMOvimienTO y con uno de los centros de Atención Temprana del Instituto Aragonés de Servicios Sociales (IASS), ambos enfocados a trabajar con niños con problemas de aprendizaje, se pudieron realizar evaluaciones que nos permitieron mejorar KitVision y crear nuevas actividades específicamente diseñadas para ellos.- Finalmente, gracias a una colaboración con Atenciona, pudimos evaluar actividades con niños con Trastorno por Déficit de Atención e Hiperactividad (TDAH) y extraer una serie de directrices para diseñar actividades para este tipo de niños. También pudimos llevar a cabo una experiencia de Diseño Participativo con estos niños.El completo desarrollo del toolkit JUGUEMOS, para la creación de juegos híbridos en espacios interactivos, se explica en el Capítulo 5. En este apartado primero se describe el Espacio Interactivo JUGUEMOS que sirvió de base para desarrollar el toolkit. Después se explican con detalle las decisiones de diseño que se tomaron, el modelo de abstracción que se usó para diseñar los juegos, y la arquitectura del toolkit. También se detallan las distintas fases de implementación que se llevaron a cabo, basadas en los tres retos que se extrajeron en el estado del arte: (1) integrar diferentes dispositivos, (2) gestionar salidas gráficas diversas y (3) facilitar la codificación del juego. Finalmente, se presentan dos prototipos de juegos que se desarrollaron durante las dos estancias de investigación que la autora realizó.Finalmente, en el Capítulo 6 se describen los tres casos de uso que se realizaron para tener una primera valoración de la usabilidad del toolkit JUGUEMOS: (1) una evaluación con estudiantes de Máster en la que se implementó un juego completamente funcional para el Espacio Interactivo JUGUEMOS, (2) un juego que fue completamente desarrollado usando el toolkit JUGUEMOS una vez que éste se acabó de implementar, (3) una experiencia que involucró a dos grupos multidisciplinares compuestos por diseñadores y desarrolladores, en la que tuvieron que colaborar para diseñar e implementar dos prototipos de juegos híbridos para el espacio interactivo.<br /

Diseño de juegos tangibles para Espacios Interactivos, orientados a formar a niños en el pensamiento lógico y computacional

Este trabajo lleva como título “Diseño de juegos tangibles para Espacios Interactivos, orientados a formar a niños en el pensamiento lógico y computacional” y se ha desarrollado en el seno del grupo de investigación GIGA (Grupo de Informática Gráfica Avanzada) Affective Lab del departamento de Informática e Ingeniería de Sistemas de la Universidad de Zaragoza. Este grupo dispone, gracias a los proyectos CeSAr y JUGUEMOS (proyecto financiado por el ministerio de Educacion Ciencia y Tecnología TIN2015-67149-C3-1R.), un espacio interactivo en el edificio Etopia de Zaragoza (Centro de Arte y Tecnología de Zaragoza) orientado al diseño y desarrollo de juegos pervasivos para niños. El objetivo general de este proyecto ha sido diseñar juegos pervasivos para el espacio JUGUEMOS con los que enseñar conceptos básicos de programación a niños en un espacio colaborativo y de manera lúdica. Para la realización de este proyecto se ha partido de una fase analítica en la cual se ha recopilado y analizado toda la información necesaria sobre los niños, los juegos y la actualidad del mercado en lo referente a interacción tangible y programación. Gracias a esta documentación se han obtenido unas conclusiones y un punto de partida fundamental para comenzar la fase de ideación y diseño, en la cual se han definido dos conceptos independientes a desarrollar paralelamente, un juego para el espacio JUGUEMOS y una ampliación de un juego ya existente en el mercado. A partir de ahí se han desarrollado paralelamente ambos juegos en un proceso iterativo hasta obtener los prototipos finales de ambos conceptos. Por último, una vez creados estos prototipos finales de ambos conceptos se realizan unas evaluaciones de ellos en el espacio JUGUEMOS y en el colegio Los Albares de la Puebla de Alfinden. Gracias a la evaluación con usuarios reales se han detectado fallos y se han propuesto posibles opciones de mejora dejando abierta la opción de mejorar estos juegos en un futuro

Desarrollo de herramientas gráficas para facilitar la creación de juegos pervasivos en espacios interactivos

El grupo de investigación de la Universidad de Zaragoza, el AffectiveLab, lleva varios años investigando y desarrollando para el campo de la computación ubicua, en especial para el campo de los juegos pervasivos, que son juegos en los que la interacción con objetos en el plano real conlleva reacciones en el plano digital. El desarrollo de este trabajo fin de grado se encuentra dentro de un proyecto de investigación a nivel nacional llamado JUGUEMOS, cuya finalidad es la creación de juegos pervasivos, para lo cual se ha desarrollado un toolkit conocido también como JUGUEMOS para facilitar todo el proceso de desarrollo. De forma más específica, el trabajo corresponde con un hito dentro del proyecto, que es la creación de interfaces gráficas para facilitar su implementación. El toolkit JUGUEMOS permite, utilizando un lenguaje específico conocido como TUIML, definir los componentes que participarán en el juego, así como las distintas manipulaciones que se puedan realizar sobre ellas. El objetivo de este proyecto es desarrollar una interfaz gráfica que se integre con el toolkit JUGUEMOS, y facilite a diseñadores y desarrolladores de juegos pervasivos la implementación de ciertas partes de código, como la definición de reglas TUIML que determinan la interacción del juego pervasivo, siendo los desarrolladores capaces de modificar de forma gráfica y en tiempo real dichas reglas TUIML utilizando una interfaz gráfica. Para ello, se siguieron diversos pasos hasta alcanzar el producto final: • Se llevó a cabo un análisis del toolkit: cómo funciona, cuáles son sus tareas, cómo habría que implementar la aplicación. • Se llevaron a cabo varias iteraciones sobre el diseño de la interfaz, para mejorar cuestiones de usabilidad, y se diseñó la arquitectura software general del sistema. • Paralelamente con el diseño de la aplicación, se procedió a su implementación e integración con el espacio interactivo. • Para comprobar que la aplicación funcionaba correctamente, se realizaron una serie de pruebas, tanto funcionales como pruebas con usuarios para comprobar cuestiones de usabilidad

Desarrollo de software orientado a la prevención de la dependencia en menores que reciben atención temprana para el tabletop tangible NIKVision

En este trabajo se ha desarrollado software que permite el uso del tabletop NIKVision en los centros de atención temprana del IASS y su aplicación a la prevención de la dependencia en los menores que asisten a dichos centros. Ello ha incluido el diseño e implementación de actividades específicas para los niños pero también llevar a cabo la adaptación del tabletop y de su software para permitir el manejo autónomo del tabletop por parte de los terapeutas. En cuanto a las tareas realizadas, primero se llevó a cabo una adaptación de actividades de NIKVision para niños de atención temprana. Para poder realizar esta adaptación, primero se tuvo que construir, instalar y calibrar un tabletop NIKVision en el Centro Base I del IASS. Después, se instalaron unas actividades previamente seleccionadas y se hizo una evaluación inicial de las mismas con los niños del centro. Tras la detección de problemas y la aplicación de mejoras, se hizo una evaluación final. La segunda tarea principal a realizar fue el diseño de una nueva actividad de logopedia, puesto que ninguna de las actividades existentes de NIKVision estaba orientada al tratamiento de trastornos lingüísticos. Para la implementación de esta actividad hubo que modificar de forma significativa el Player de KitVision. Tras su implementación se hizo una evaluación inicial, tras la cual se aplicaron cambios al diseño original y se hizo una evaluación final. La última tarea fue la generación de un sistema de logs para terapeutas con el objetivo de que pudieran hacer un seguimiento del desarrollo de sus pacientes al usar el tabletop NIKVision. Se hizo un análisis de los requisitos necesarios para este sistema, y luego se pasó a las fases de diseño e implementación (de nuevo, hubo que modificar sustancialmente el Player de KitVision). Como resultado de este trabajo, un tabletop NIKVision con actividades orientadas a los niños que reciben atención temprana está operativo en el Centro Base I del IASS en Zaragoza

Juegos educativos tangibles para niños con TDAH

El Trabajo Fin de Grado consiste en diseñar nuevas actividades para niños diagnosticados con Trastorno de Déficit de Atención e Hiperactividad (TDAH) implementandolas en la mesa interactiva tangible NIKVision. Las nuevas tecnologías forman parte de la vida de todos los niños y a través de este proyecto se quiere fusionar la tecnología con la educación para poder trabajar con los niños distintos aspectos terápeuticos, mejorando así su aprendizaje. Se ha diseñado un juego que consta dos mundos virtuales con un total de 8 actividades. Durante la ejecución de las actividades los niños con TDAH trabajarán en mejorar los procesos del modelo PASS así como sus habilidades sociales. La gamificación y la motivación también estarán presentes durante el juego a través de los niveles, los distintos grados de dificultad y un diseño gráfico entretenido y divertido. El proyecto se ha llevado acabo dentro del laboratorio GIGA Affective Lab perteneciente a la Universidad de Zaragoza. También se ha contado con la participación de la asociación Atenciona, que trabaja con niños con TDAH. Para poder ver el proyecto desde todos los puntos de vista se ha contado con la ayuda y experiencia de una profesora de Educación. Al comienzo del proyecto se ha organizado una reunión con la asociación Atenciona para determinar las necesidades de sus alumnos y poder así determinar las pautas que han marcado el camino de proyecto. A continuación se ha realizado una búsqueda de información, la necesaria para tener amplios conocimientos para abarcar la siguiente fase del proyecto: la generación de ideas. Durante la fase de generación de ideas y conceptos ha sido imprescindible organizar diversas reuniones tanto con la asociación, con la profesora de Educación como con mis coordinadoras del proyecto, para ir debatiendo puntos, abriendo otras posibilidades de juego y cerrar los objetivos pedagógicos. En la fase de desarrollo del juego se han diseñado las actividades así como su diseño gráfico y se ha procedido a la implementación mediante el editor KITVision para poder trasladar el juego a la mesa NIKVision. Para asegurar que el juego cumplía los objetivos marcados se han realizado una serie de evaluaciones en la asociación Atenciona para determinar la satisfacción del juego por parte de los alumnos y educadores así como fallos y posibles mejoras del juego. Por último, los resultados obtenidos durante el desarrollo del proyecto se resumen en unas conclusiones y se plantea una evolución del juego para un posible trabajo futuro

Shortages and challenges in augmentative communication through tangible interaction using a user-centered design and assessment process

In this article, we present an assessment process on a tangible interaction application oriented to individuals with complex communication needs, called ACoTI, and details about the main results obtained thus far. The process is based on a set of decisions that have been surveyed as key elements for assessing this type of experiences, based on a background review that was carried out. In addition to that, it has taken into account the contribution of key players from the special education field and it is the foundation for the user-centered and evolutionary design of the application. A number of findings and challenges that open up the door to keep contributing to this specific area was presented. For instance, creating an authoring tool that is available for the educators to be able to generate themselves customized activities for their students, considering the specific needs of each of them

Desarrollo de una interfaz web basada en un agente conversacional 3D con capacidades cognitivo-afectivas.

Este trabajo se enmarca en el desarrollo de agentes inteligentes con capacidades cognitivo-afectivas para el entrenamiento de la comunicación de malas noticias en el ámbito médico. En particular, este trabajo se ha centrado en la gestión de un agente corpóreo conversacional (ECA) capaz de simular el comportamiento de un paciente ante la recepción de malas noticias por parte del médico.<br /

Proyecto Juguemos: Diseño y animación de un personaje orientado a niños TDAH

El trabajo se ha desarrollado en el seno del grupo de investigación GIGA Affective Lab del departamento de Informática e Ingeniería de Sistemas de la Universidad de Zaragoza. El GIGA Affective Lab es un grupo de investigación especializado en el área de interacción usuario-ordenador. En este momento, el grupo está montando, gracias a los proyectos CeSAr y JUGUEMOS, un espacio interactivo en el edificio Etopia de Zaragoza (Centro de Arte y Tecnología de Zaragoza) orientado al diseño y desarrollo de juegos pervasivos para niños. Este espacio interactivo dispone de diversos recursos como mesas interactivas tangibles, pantallas de proyección, sensores y actuadores. El objetivo de este trabajo ha sido diseñar un personaje que funcione como protagonista y presentador en las actvidades y en los juegos pervasivos para niños con trastorno TDAH, que significa Trastorno de Déficit de Atención e Hiperactividiad. La edad de los niños es de 7 a 11 años. El personaje a crear, debe de ser un elemento tranquilizador, en el que el niño centre la atención a la vez de que sea ameno y agradable. En consecuencia, la parte emocional en el diseño del personaje y en sus animaciones es fundamental y es una premisa básica. Para la consecución de estos objetivos, la metodología utilizada ha sido estructurada en tres fases siendo estas la fase de análisis, creativa y de desarrollo del trabajo respectivamente. En la primera fase se ha analizado información relacionada con el usuario objetivo, la disciplina de diseño de personajes y las emociones y la comunicación no verbal del ser humano que suponían un foco de interés para el diseño del personaje. En la segunda fase se han aplicado una serie de técnicas creativas y una exploración formal a través de bocetos, que dieron lugar a una gran cantidad de ideas que se evaluaron, seleccionaron, desarrollaron y evolucionaron hasta dar con un personaje único. En la última fase del proyecto se ha desarrollado el personaje elegido, hasta el punto de crear una serie de animaciones correspondientes a las emociones básicas según el modelo de Ekman. El personaje y las animaciones han sido creados con el software de Cinema 4D. Los demás recursos gráficos se han realizado con los diferentes programas de Adobe. El personaje final se trata de un niño que tiene una edad aproximada de 8-9 años, situada en la mitad de la edad del usuario potencial. Su morfología está sintetizada para una solución sencilla y llamativa. Las formas redondeadas brindan al personaje una personalidad agradable, simpática, tranquila y tierna. Los colores elegidos, el blanco y una gama de azules expresan lo ideal, la inteligencia, la tranquilidad, la armonía y la tecnología. El pequeño ambiente del personaje, temática subacuática, consigue reforzar los valores de relajación. Las animaciones que se han realizado representan las emociones básicas, dando gran relevancia a la expresión facial, expresión corporal, color subjetivo y contexto. Como resultado de la metodología seguida, se concluye que se han alcanzado los objetivos propuestos de este trabajo, además de adquirir nuevos conocimientos que han sido enriquecedores tanto profesional como personalmente